1

Le paysage de l'IA générative avancée

PolyU COMP5511Lesson 11
00:00

Le paysage de l' IA générative avancée a évolué de modèles isolés et monolithiques vers un écosystème multicouche défini par des systèmes d'IA composés. Ce changement s'éloigne de la simple prédiction probabiliste de tokens pour aller vers des systèmes qui orchestrent des modèles de fondation (FMs), des plugins modulaires et une synthèse multimodale.

Calcul / Infrastructure cloudLLMsDiffusionAudio / CodeCouche d'orchestration et agentique

La taxonomie de la pile générative

  • Couche d'infrastructure: l'épine dorsale matérielle (GPUs/TPUs) et les services cloud qui fournissent la puissance de calcul massive nécessaire à l'entraînement et à l'inférence à grande vitesse.
  • Couche de modèles: les modèles de fondation (FMs) tels que GPT-4, Llama 3 et Stable Diffusion qui servent de moteurs spécialisés pour différentes modalités.
  • Couche d'orchestration: des frameworks qui gèrent la logique, le flux de données et la recherche d'informations, faisant passer les modèles de pondérations « figées » à des systèmes dotés d'une conscience contextuelle en temps réel.

Convergence des modalités

La tendance technique consiste à unifier les architectures — principalement les Transformers et les modèles de diffusion — permettant un espace latent partagé. Cela permet une interface unifiée unique où le texte, l'image et la vidéo sont manipulés comme un flux continu d'informations, représenté mathématiquement comme une application entre des variétés latentes distinctes $M_{text} \leftrightarrow M_{visual}$.

Évolution structurelle
Nous passons de modèles « à livre fermé » qui reposent uniquement sur les paramètres des données d'entraînement $\theta$, à des systèmes « à livre ouvert » qui utilisent l'état de l'environnement externe $E$ pour résoudre des tâches de raisonnement complexes via $P(y|x, E)$.
Implémentation Python